import hanlp
print(hanlp.pretrained.tok.ALL) # 语种见名称最后一个字段或相应语料库
S=hanlp.utils.rules.split_sentence('量体裁衣，HanLP提供RESTful和native两种API。两者在语义上保持一致，在代码上坚持开源。撒打。发斯。蒂芬')
list(S)
# tok = hanlp.load(hanlp.pretrained.tok.COARSE_ELECTRA_SMALL_ZH)
tok = hanlp.load(hanlp.pretrained.tok.SIGHAN2005_PKU_CONVSEG)
# tok = hanlp.load(hanlp.pretrained.tok.CTB6_CONVSEG)
 
# pip install transformers==3.4  -i  https://mirrors.aliyun.com/pypi/simple/
tok

print(tok(['商品和服务。', '晓美焰来到北京立方庭参观自然语义科技公司']))
print(tok('周杰伦2025年12月北京天安门走起来'))

# tok_fine = hanlp.load(hanlp.pretrained.tok.FINE_ELECTRA_SMALL_ZH)
# # tok_fine = hanlp.load(hanlp.pretrained.tok.CTB6_CONVSEG)

# print(tok_fine('晓美焰来到北京立方庭参观自然语义科技公司'))


# HanLP = hanlp.pipeline() \
#     .append(hanlp.utils.rules.split_sentence) \
#     .append(tok)
# print(HanLP('量体裁衣，HanLP提供RESTful和native两种API。两者在语义上保持一致，在代码上坚持开源。'))

# HanLP.append(lambda sents: sum(sents, []))
# print(HanLP('量体裁衣，HanLP提供RESTful和native两种API。两者在语义上保持一致，在代码上坚持开源。'))